運算技術已經歷一項根本性的轉變，從 延遲優化 中央處理器（CPU）設計轉向 吞吐量導向 圖形處理單元（GPU）架構。雖然中央處理器（CPU）如同高速送貨機車（單件物品快速處理），但圖形處理單元（GPU）則像一艘巨型貨輪：每件物品移動較慢，卻能一次運載五萬個貨櫃。

1. 延遲與吞吐量

中央處理器（CPU）是透過先進的分支預測技術，專注於最小化單一指令序列的「完成時間」。相反地， 圖形處理單元（GPU） 則設計為透過並行執行數千個線程來最大化「每秒工作量」，以犧牲單線程速度換取巨大的總體吞吐量。

2. 晶體管配置

在相似的價格與功耗範圍內，圖形處理單元（GPU）提供的指令吞吐量和記憶體頻寬遠高於中央處理器（CPU）。GPU 專門用於高度平行的運算，並將更多晶體管配置給 資料處理單元（算術邏輯單元），而中央處理器（CPU）則將更多晶體管用於資料快取與流程控制。

3. CUDA 的演進

統一計算裝置架構（CUDA） 由輝達（NVIDIA）於 2006 年推出。它是一種平行運算平台與程式設計模型，可藉由獨立於圖形應用程式介面（API）的方式，充分發揮圖形處理單元（GPU）的運算能力，實現性能的大幅提升。